Blog - LINE ENGINEERING

TAG ARCHIVES: Speech Processing

【インターンレポート】発話から欲しい単語を高精度に抽出する音声認識
Aoi Ito2023-03-24
Speechチーム / ASPチーム
はじめに法政大学情報科学部ディジタルメディア学科3年の伊藤葵と申します。私は、LINEインターン(技術職就業型コース) 及びアルバイトとして2022年8月から8ヶ月間、音声認識の研究に携わりました。インターン & アルバイトでは、実際に企業で行われている研究を進めるだけでなく、人生初の学会発表 (題: 日本語音声認識における語彙集合分割とマルチタスク学習による目的語彙抽出)、さらには国際会議への論文投稿もさせていただきました！本ブログでは、研究内容の紹介・人生初の学会・インターンの感想についてご紹介いたします。研究内容の紹介本インターンで進めた研究について、簡単にご説明します。詳しい仕組み等が気になった方は、ぜひ論文に目を通してみてください。問題背景現在、音声認識の技術は日々進歩し、さまざまなサービス(会議の文字起こしや音声検索etc.)で活用されています。多岐にわたる活用方法に伴い、認識結果の扱い方も目的に応じて変わってきます。例えば、文字起こしといった音声記録では”発話内容すべて”の正確な記録
- line-intern-ja
- Speech Processing
【インターンレポート】BERTの知識蒸留によるEnd-to-End音声認識の性能向上
Yuta Nishikawa2022-11-24
Speechチーム
初めまして。奈良先端科学技術大学院大学修士1年の西川勇太です。2022年夏にLINE株式会社の就業型インターンシップに6週間参加しました。インターンシップではAI開発室のSpeechチームに所属し、「BERTの知識蒸留によるEnd-to-End音声認識の性能向上」のテーマで研究を行いました。本インターンシップの内容は学会に投稿予定のため、本記事ではその一部の内容のみを紹介させていただきます。問題背景・目的近年、End-to-Endモデルによる音声認識手法が目覚ましい成果を上げており、注目を浴びています。この手法は、従来の音響モデル、言語モデル、発音辞書を組み合わせて構成されるモデルと比較して、シンプルなアーキテクチャでかつ、高い精度での推論を可能とします。このEnd-to-End音声認識モデルは大きく分けて自己回帰型のモデルと非自己回帰型のモデルの２通りのモデルがあります。まず、自己回帰型のモデルはAED（Attention Encoder-Decoder）モデル[1][2]やRNN Transducer[3][4]などがありまず。これらの自己回帰型のモデルは、各トークン間の依存関
【インターンレポート】少量の目標話者データを用いた End-to-End TTS における明瞭性・話者性の改善
Yuto Nishimura2022-10-12
Voiceチーム
１．はじめにこんにちは, 東京大学工学部計数工学科数理コースの4年生, 西邑勇人です. 執筆時はまだ研究室に所属していませんが, インターンとして音声分野の研究室に所属していました. 今回, LINE での就業型エンジニアリングインターンシップとして行った, AI開発室の Voice チームでの取り組みを紹介したいと思います. ２．インターン課題と目的背景近年, 音声合成分野は目まぐるしく発展しており, ここ最近で特に話題になったモデルとしては, VITS[1] と呼ばれるものがあります. このモデルは, 音声合成分野における強力なモデルを組み合わせているだけでなく, VAE[2], GAN[3], Flow[4], といった深層学習分野で有名な手法を組み合わせているという, まさに集大成のモデルになっています. その精度も非常に高く, 実際の人間の音声との比較において有意差がなくなるほどまでになりました※1. 一方で, これが研究の終着点というわけではありません. 更に自然性を上げることは勿論のこと, 音声変換への拡張, 多言語・多話
- line-intern-ja
- Speech Processing
新卒NLPエンジニアが取り組んだ音声合成システムにおける句境界予測モデルの導入
Kosuke Futamata2021-05-13
はじめにこんにちは、2020年4月に新卒としてLINE株式会社に入社した二又航介です。テキスト音声合成システムの研究開発を担当するAI開発室 Voiceチームに所属し、音声合成システムにおけるテキスト処理部の研究開発やチームの機械学習基盤構築に取り組んでいます。学生時代は機械翻訳や同時通訳に関連する研究に取り組んでいました。研究以外の活動としては、アルバイト・インターンでの対話システムや機械翻訳システムの研究開発、個人活動としてwebアプリケーション開発などを行っていました。このような活動を通じて、数多くのユーザーに利用される自然言語処理技術を活かしたサービスに携わりたいという思いからLINEを志望しました。学生時代は専ら自然言語処理に関連する研究に取り組んでいましたが、音声合成に興味を持ち始め、かつ音声合成システムの研究開発において自然言語処理の知見が活きるタスクが多くあるため、これらに取り組む形でVoiceチームに配属しました。全体研修や集中開発研修を経て、去年8月にAI開発室 Voiceチームに配属となりました。エンジニアとして入社した同期が、配属部門での開発業務について
【インターンレポート】ドメイン適応と相互情報量最小化に基づくクロスリンガル音声合成の研究
Detai Xin2021-03-10
みなさんこんにちは。私は2020年7月から10月まで行われたLINEのサマーインターンシップでLINE Speech Teamに参加した辛徳泰 (シントクタイ, Detai Xin) といいます。このインターンシップで私はクロスリンガル音声合成のためのdisentangledな話者・言語表現を獲得する方法をテーマにして、研究成果をトップカンファレンスに論文投稿することを目標に研究開発を行ってきました。私はその3か月間で開発・実験・論文執筆を行い、そこでの成果をまとめた論文[1]は音声処理のトップカンファレンスであるICASSP2021（IEEE International Conference on Acoustics, Speech and Signal Processing）に採択されました。このブログでは、今回行った我々の研究について簡単に紹介したいと思います。 [1] Detai Xin et al., Disentangled speaker and language representations using mutual information minimizati
【インターンレポート】独立低ランク行列分析を用いた音源分離・残響除去
Taishi Nakashima2021-03-04
はじめに LINE株式会社の 2020 年度夏季インターンシップに参加しました中嶋大志と申します。普段は東京都立大学大学院で音源分離に関する研究をしています。今回のインターンシップでは LINEのData Labs の Speech チームに所属し、 Robin Scheibler さんにメンターになっていただきました。人間には複数の人が同時に発話している状況でも、自分が聞きたい発話だけを聞き取る能力があります。これはカクテルパーティー効果と呼ばれています。音源分離とはこのカクテルパーティー効果を機械で実現する研究です。音源分離には様々な応用が期待されています。代表的な応用例はスマートフォンやスマートスピーカーなどの音声入力機器です。例えば、子供たちが騒いでいたり、テレビの声があるようなリビングでも自分の声だけを聞き取ってくれればとても便利です。しかし、会議室やリビングのような閉じた環境で音声を録音すると、残響が含まれます。仕事で議事録を作るために会議の音声を録音して後で聞いてみたものの、音がぼやけて聞きづらいという経験はないでしょうか。このように残響
環境音認識のコンペティションDCASE2020で世界1位を獲得しました
LINE Engineering2020-11-19
DataLabsのSpeech teamに所属している小松です。環境音認識に関する基礎研究を行っています。環境音認識とは我々の身の回りで起こる多種多様な音、たとえば咳や話し声、物音などを機械に自動的に検出・認識させる技術です。この技術は音に関する分野の中で最もホットで急成長しているトピックの一つであり、環境音を専門に扱う国際コンペティション/ワークショップ、DCASEも毎年開催されています。そのコンペティション部門であるDCASE2020 Challengeのtask 4に、LINEは昨年度のインターン成果 [1] を主軸にした名古屋大学、ジョンズ・ホプキンス大学との合同チームで参加し、世界1位を獲得することができました。本記事ではまず環境音認識の概要について簡単に説明し、我々が参加したコンペティションのタスク、そして我々が1位を獲得した用いた方式について紹介いたします。環境音認識について環境音認識とは、どんな状況でどんな音が発生しているかを認識・理解する技術です。具体的には、音響信号を入力としてどのタイミングで何の音が発生したかを出力する分類問題となります(図1)。図1:環
ICASSP2020のOpen Previewが始まりました
LINE Engineering2020-04-15
LINE Data Labs、Speechチームの戸上です。 IEEE Signal Processing Society主催のICASSP2020 (International Conference on Acoustics, Speech, and Signal Processing) は、音声・音響信号処理分野におけるトップカンファレンスです。（参考）昨年度の参加レポート：IEEE ICASSP2019聴講・発表報告本年度は、5月4日〜8日にかけてスペイン・バルセロナで開催予定でしたが、COVID-19の世界的な感染拡大の影響から、バーチャルカンファレンスに変更となりました。口頭発表・ポスター発表ともに、プレゼンテーションは発表者が事前に動画を収録、当日はQ&Aセッションを行う形式で進行します。4月9日より、学会開催に先駆けて、各論文が事前に閲覧可能です。以下、LINEの研究者（太字）が発表を予定している、11本の論文情報をまとめております。ぜひリンク先から各論文をご参照ください。 ICASSP2020 論文一覧 "Unsupervised Trai
- Speech Processing
- LINE R&D
INTERSPEECH2019 発表・聴講報告
Masahito Togami, Tatsuya Komatsu2019-10-24
Masahito Togami: LINE Research Labsに所属。音響信号処理の研究開発に従事。博士（工学），IEEE Senior Member。\r\nTatsuya Komatsu: LINE Research Labsに所属。音響信号の分類、異常検出などの研究開発に従事。IEEE Member。
LINE Research Labsの戸上、小松、升山（9月末までアルバイトとして所属）です。 LINEには海外カンファレンスや学会への参加を支援する制度があり、会社負担で学会に参加することが可能です。今回は、音声処理における世界最大規模の国際会議である、International Speech Communication Association (ISCA)主催のINTERSPEECH2019に参加し、聴講と音源分離・音声強調技術に関する2件のオーラル発表を行ってきました。INTERSPEECHは今回で20回目となり、2010年には日本の幕張でも開催されました。今回のINTERSPEECH2019の投稿数は2180件となっており，採択率は49.3%でした。投稿数は過去最高となっており、歴代最多の年よりもさらに今年は20%ほど増加しているとのことです。AI スピーカなどの音声プロダクトが普及する中で，音声処理の研究が加速している様子を強く感じました。NAVERとLINEはINTERSPEECH2019のゴールドスポンサーになっており、今回、ブースも出展いたしました。会場の様子。
IEEE ICASSP2019聴講・発表報告
Masahito Togami, Tatsuya Komatsu2019-06-28
Masahito Togami: LINE Research Labsに所属。音響信号処理の研究開発に従事。博士（工学），IEEE Senior Member。\r\nTatsuya Komatsu: LINE Research Labsに所属。音響信号の分類、異常検出などの研究開発に従事。IEEE Member。
Research Labsの戸上と小松です。LINEには海外カンファレンスや学会への参加を支援する制度があり，会社負担で学会に参加することが可能です。今回は，音声・音響信号処理におけるトップカンファレンスである，IEEE Signal Processing Society主催のICASSP2019 (International Conference on Acoustics, Speech, and Signal Processing) に参加し，聴講と音源分離・音声強調技術に関する3件の発表を行ってきました。 ICASSPは今回で44回目となり，2012年には日本の京都でも開催されました。LINEはICASSP2019のBronze Patronとしてスポンサーになっています。Signal Processing Societyは，日本ではあまり知名度が高くはないですが，IEEEの全Societyの中で4番目に大きいSocietyであり，音声・音響処理の研究フィールドとしては世界最大です。今回のICASSP2019の投稿数は約3700件とのことであり，前年度の約2800件

1 2